Khang Phi sinh tháng 8 năm 1957 tại Hải Điến, Bắc Kinh. Ông từng giữ chức Phó Chính ủy Tàu hộ vệ 508 Hải quân PLA, Chính ủy Tàu khu trục đạn tự hành và Chính ủy Chi đội 3 Tàu khu trục Hạm đội Đông Hải.

Năm 2008, ông được bổ nhiệm làm Chính ủy Học viện Tàu chiến Đại Liên Hải quân PLA. Tháng 7 năm 2010, ông được thăng quân hàm Chuẩn Đô đốc. Tháng 4 năm 2012, ông được bổ nhiệm giữ chức Chính ủy Cục Hậu cần Hải quân PLA. Tháng 3 năm 2015, ông được bổ nhiệm làm Phó Chủ nhiệm Chính trị Hải quân PLA.[1] Tháng 7 năm 2015, ông được bổ nhiệm giữ chức vụ Phó Chính ủy Quân khu Tế Nam kiêm Chính ủy Hạm đội Bắc Hải.

Ngày 1 tháng 2 năm 2016, Chủ tịch Quân ủy Trung ương Tập Cận Bình tuyên bố giải thể 7 Quân khu là Bắc Kinh, Thẩm Dương, Tế Nam, Nam Kinh, Quảng Châu, Lan Châu và Thành Đô để thành lập 5 Chiến khu là Chiến khu Đông, Chiến khu Bắc, Chiến khu Nam, Chiến khu Tây và Chiến khu Trung ương.[2] Khang Phi được bổ nhiệm giữ chức Phó Chính ủy Chiến khu Bắc bộ kiêm Chính ủy Hải quân Chiến khu Bắc bộ.[3]

Tháng 7 năm 2016, ông được thăng quân hàm Phó Đô đốc.[4]